﻿Masteratul de Lingvistică Computațională Curs: Introducere in Lingvistica Computațională Curs 8 Nivelul discursului: Teoria Nervurilor (coerență) și rezumare automată Curs: Dan Cristea Seminarii & proiect: Mihaela Onofrei The account of VT on coherence • Veins give a natural way to generalize Centering from local to global Evaluating the coherence of a discourse • A smoothness score: – CONTINUING = 4 – RETAINING = 3 – SMOOTH SHIFT =2 – ABRUPT SHIFT = 1 – NO Cb = 0 • A global smoothness score: summing up the score of all units The second conjecture (on coherence) • The global smoothness score of a discourse when computed following VT is at least as high as the score computed following CT • But segments, as considered by Centering, typically are developed along veins • When passing segments frontiers, in a linear reading, transitions are usually abrupt • Therefore, what we claim here is that long- distance transitions, as computed along veins, are systematically smoother than accidental transitions at segment boundaries Incremental discourse parsing using VT 15 The account of VT on cohesion and coherence – According to VT, a discourse tree correctly characterizes a text if two constraints are satisfied with respect to the corresponding set of veins: • a cohesion criterion – a score associated to the resolution of anaphors on antecedents placed on veins is maximized; • a coherence criterion – along veins (i e not linearly) a global smoothness score of the discourse, which sums up Centering transitions scores, is maximized Put VT at the base of a process of parsing the discourse • VT revealed a hidden structure associated to a text and formulated two constraints • Now, for parsing a text, reverse the process: use criteria evidenced by VT to guide the parsing process – HOW?: among all possible structures a text can have, the correct ones simultaneously observe both cohesion and coherence criteria In incremental discourse parsing two principles are of help The principle of sequenciality • A left to right reading of the terminal frontier of the tree associated with a discourse must correspond to the span of text it analyses in the same left-to-right order The right frontier constraint • A discourse constituent must be attached on the (generalised) right frontier of the ongoing discourse VT guides an incremental discourse parsing (Cristea, 2000; Cristea et al , 2003, 2005) The tree resulted after parsing is the one which manifests: – the more natural overall references over the discourse structure – the smoothest overall CT transitions on veins Exercise For the sentence: [John is determined to pass the NLP exam 1] so, because [he has missed many courses 2] and [was only vaguely implicated at the working sessions 3] , [he will have a hard time until summer 4] knowing the involved markers have the argument patterns: find the possible parsing trees Deciding the structure 1 so, because 2 and 3, 4 Have the following domains of arguments: so because and Then, out of all possible combinations, filter out: empty lists, non- adjacent lists and those placed at distance from their markers The following combinations of arguments remain: so because and so because and so because and and In (Cristea et al , 2003) there are expressed a number of rules that can constrain well-formedness of tree structures: “nesting-arguments”, “balanced-displacement”, “unique-root” and “one-parent” Only one observe all constraints VT's account on Summarisation Reference score To score references in relation with veins we have given the values 2, 1 and 0 for the values direct, indirect and inferential, respectively Then, to score the anaphor type we have given the values 3, 2 and 1 for the following categories of anaphors: pronoun, common noun and proper noun, respectively Then we have multiplied these scores for each anaphor, allowing each anaphor to contribute to the general score of the tree with a value between 0 and 6: – 0 = any of its antecedents are outside the DEA of anaphor's unit –… – 6 = pronoun whose most recent antecedent is included in the DEA of the unit the anaphor belongs to Transitions score • A local smoothness score: – CONTINUING = 4 – RETAINING = 3 – SMOOTH SHIFT =2 – ABRUPT SHIFT = 1 – NO Cb = 0 • A global smoothness score: summing up the transition scores of all units The Discourse Parser combines the two scores (Cristea, 2000) Veins Theory guides an incremental discourse parsing process The tree resulted after parsing is the one which manifests: – the more natural overall references over the discourse structure (cohesion) – the smoothest overall Centering transitions on veins (coherence) Focused summaries can easily be obtained by VT Since the vein expression of a discourse unit is meant to give the minimal sequence of units that are required to understand just that unit in the context of the whole discourse è the vein expression of a unit gives also a summary of the discourse focused on that unit The text George Orwell: “1984” Annotation: edus are numbered Winston was dreaming of his mother 1/ Winston o visa pe mama lui He must2/, he thought3/, have been ten or eleven years old2/ when his mother had disappeared 4/ Trebuie să fi avut, se gândi el, vreo zece-unsprezece ani când mama lui dispăruse She was a tall, statuesque, rather silent woman with slow movements and magnificent fair hair 5/ Era o femeie înaltă, ca o statuie, şi destul de tăcută; avea mişcări lente şi un păr blond minunat VT guides the summarisation process Evaluation in different points Rezumare: un extras din “Legendele Olimpului” Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate, căutîndu-şi loc de templu Şi, tot umblînd pe drumuri, Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Aici sînt nişte vîrfuri de piatră cenuşie, ce parcă stau să cadă într-un abis de smoală clocotitor de vuiet Şuvoaiele de aer - un aer cald si umed - ţîşnesc necontenit şi vorbele rostite se-ntorc iute-n ecouri, sunînd din stîncă-n stîncă Pădurea-i misterioasă Frunzişul ei şopteşte Un izvor îşi prăvale apa sa cristalină spre valea-nnegurată sărind peste pripoare Şi-n munte-i o strîmtoare afundă, mocirloasă, unde traia atuncea - precum spunea legenda - un şarpe numit Piton Trupul acestui monstru era lung cît un munte, cu-o sută de grumazuri şi o sută de guri, care azvîrleau flăcări, duhori înecăcioase Duhorile acestea înţesau tot văzduhul şi oameni, fiare, gîze, păsări sau alte fiinţe, dacă treceau pe acolo, se stingeau otrăvite Şarpele se născuse dintr-o mocirlă verde Mocirla rămăsese din apele vărsate acolo, prin potopul orînduit de Zeus Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa Hera-l ura pe fiul cel nou născut al Letei, pentru că soţul său, prea puternicul Zeus, ţinea mai mult la dînsul decit la fiii ei: Hefaistos şi Ares Cînd a ajuns Apolo în muntele Parnas, dihania uriaşă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată Erau doar patru zile de cînd văzuse lumea, şi întiia lui săgeată a şi nimerit monstrul E drept că şi săgeata fusese făurită de fierarul din Lemnos, Hefaistos, schilodul, cu mare meşteşug Cum i-a pătruns săgeata în carnea mucedă, şarpele a simţit că i-a venit sfîrşitul A încercat să scape şi să se furişeze într-o pesteră adîncă Dar n-a mai izbutit Chinuit de dureri, Piton s-a zvîrcolit prin verzile mocirle în care vieţuia A sărit în nisipul cel galben de pe maluri şi a lunecat iară, cu şuiere cumplite, în putreda baltoacă, în vreme ce veninul i se scurgea din boturi Monstrul s-a zvîrcolit tot mai încet în apă Ochii i s-au lăsat S-au cufundat pe încetul, de tot, în întuneric Aşa s-a prăpădit Iar trupul său lungit pe zeci şi zeci de stînjeni, i s-a uscat cu timpul, sub razele de soare Şi locurile acestea unde-a răpus Apolo pe fiorosul monstru au fost numite Delfi În Delfi se vor pune temelii unui templu şi-unui vestit oracol, a hotărît Apolo Oamenii vor putea să-ntrebe şi să afle răspuns la întrebări, prin preuteasa mea, Pitia, înţeleapta Ea se va aşeza pe un trepied de aur, învăluit în pielea lui Piton cel răpus, deasupra unei grote adînci si fumegînde, ce duce pînă-n ţara lui Hades, mohorîtul Prin ea voi da răspunsuri Dar oamenii datori sînt să-mi dăruiască aur şi scule preţioase şi zeci de bogăţii, răsplată pentru mine şi preoţii din templu Mai poruncesc, de-asemeni, să aibă loc, în cinstea luptei mele cu monstrul, jocuri, serbări, concursuri, şi cîntece, şi danţuri Să fie veselie, iar eu să fiu slăvit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Rezumare: un extras din “Legendele Olimpului” Prima mențiune a lui Hefaistos Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate, căutîndu-şi loc de templu Şi, tot umblînd pe drumuri, Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Aici sînt nişte vîrfuri de piatră cenuşie, ce parcă stau să cadă într-un abis de smoală clocotitor de vuiet Şuvoaiele de aer - un aer cald si umed - ţîşnesc necontenit şi vorbele rostite se-ntorc iute-n ecouri, sunînd din stîncă-n stîncă Pădurea-i misterioasă Frunzişul ei şopteşte Un izvor îşi prăvale apa sa cristalină spre valea-nnegurată sărind peste pripoare Şi-n munte-i o strîmtoare afundă, mocirloasă, unde traia atuncea - precum spunea legenda - un şarpe numit Piton Trupul acestui monstru era lung cît un munte, cu-o sută de grumazuri şi o sută de guri, care azvîrleau flăcări, duhori înecăcioase Duhorile acestea înţesau tot văzduhul şi oameni, fiare, gîze, păsări sau alte fiinţe, dacă treceau pe acolo, se stingeau otrăvite Şarpele se născuse dintr-o mocirlă verde Mocirla rămăsese din apele vărsate acolo, prin potopul orînduit de Zeus Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa Hera-l ura pe fiul cel nou născut al Letei, pentru că soţul său, prea puternicul Zeus, ţinea mai mult la dînsul decit la fiii ei: Hefaistos şi Ares Cînd a ajuns Apolo în muntele Parnas, dihania uriaşă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată Erau doar patru zile de cînd văzuse lumea, şi întiia lui săgeată a şi nimerit monstrul E drept că şi săgeata fusese făurită de fierarul din Lemnos, Hefaistos, schilodul, cu mare meşteşug Cum i-a pătruns săgeata în carnea mucedă, şarpele a simţit că i-a venit sfîrşitul A încercat să scape şi să se furişeze într-o pesteră adîncă Dar n-a mai izbutit Chinuit de dureri, Piton s-a zvîrcolit prin verzile mocirle în care vieţuia A sărit în nisipul cel galben de pe maluri şi a lunecat iară, cu şuiere cumplite, în putreda baltoacă, în vreme ce veninul i se scurgea din boturi Monstrul s-a zvîrcolit tot mai încet în apă Ochii i s-au lăsat S-au cufundat pe încetul, de tot, în întuneric Aşa s-a prăpădit Iar trupul său lungit pe zeci şi zeci de stînjeni, i s-a uscat cu timpul, sub razele de soare Şi locurile acestea unde-a răpus Apolo pe fiorosul monstru au fost numite Delfi În Delfi se vor pune temelii unui templu şi-unui vestit oracol, a hotărît Apolo Oamenii vor putea să-ntrebe şi să afle răspuns la întrebări, prin preuteasa mea, Pitia, înţeleapta Ea se va aşeza pe un trepied de aur, învăluit în pielea lui Piton cel răpus, deasupra unei grote adînci si fumegînde, ce duce pînă-n ţara lui Hades, mohorîtul Prin ea voi da răspunsuri Dar oamenii datori sînt să-mi dăruiască aur şi scule preţioase şi zeci de bogăţii, răsplată pentru mine şi preoţii din templu Mai poruncesc, de-asemeni, să aibă loc, în cinstea luptei mele cu monstrul, jocuri, serbări, concursuri, şi cîntece, şi danţuri Să fie veselie, iar eu să fiu slăvit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Rezumare: un extras din “Legendele Olimpului” A doua mențiune a lui Hefaistos Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate, căutîndu-şi loc de templu Şi, tot umblînd pe drumuri, Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Aici sînt nişte vîrfuri de piatră cenuşie, ce parcă stau să cadă într-un abis de smoală clocotitor de vuiet Şuvoaiele de aer - un aer cald si umed - ţîşnesc necontenit şi vorbele rostite se-ntorc iute-n ecouri, sunînd din stîncă-n stîncă Pădurea-i misterioasă Frunzişul ei şopteşte Un izvor îşi prăvale apa sa cristalină spre valea-nnegurată sărind peste pripoare Şi-n munte-i o strîmtoare afundă, mocirloasă, unde traia atuncea - precum spunea legenda - un şarpe numit Piton Trupul acestui monstru era lung cît un munte, cu-o sută de grumazuri şi o sută de guri, care azvîrleau flăcări, duhori înecăcioase Duhorile acestea înţesau tot văzduhul şi oameni, fiare, gîze, păsări sau alte fiinţe, dacă treceau pe acolo, se stingeau otrăvite Şarpele se născuse dintr-o mocirlă verde Mocirla rămăsese din apele vărsate acolo, prin potopul orînduit de Zeus Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa Hera-l ura pe fiul cel nou născut al Letei, pentru că soţul său, prea puternicul Zeus, ţinea mai mult la dînsul decit la fiii ei: Hefaistos şi Ares Cînd a ajuns Apolo în muntele Parnas, dihania uriaşă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată Erau doar patru zile de cînd văzuse lumea, şi întiia lui săgeată a şi nimerit monstrul E drept că şi săgeata fusese făurită de fierarul din Lemnos, Hefaistos, schilodul, cu mare meşteşug Cum i-a pătruns săgeata în carnea mucedă, şarpele a simţit că i-a venit sfîrşitul A încercat să scape şi să se furişeze într-o pesteră adîncă Dar n-a mai izbutit Chinuit de dureri, Piton s-a zvîrcolit prin verzile mocirle în care vieţuia A sărit în nisipul cel galben de pe maluri şi a lunecat iară, cu şuiere cumplite, în putreda baltoacă, în vreme ce veninul i se scurgea din boturi Monstrul s-a zvîrcolit tot mai încet în apă Ochii i s-au lăsat S-au cufundat pe încetul, de tot, în întuneric Aşa s-a prăpădit Iar trupul său lungit pe zeci şi zeci de stînjeni, i s-a uscat cu timpul, sub razele de soare Şi locurile acestea unde-a răpus Apolo pe fiorosul monstru au fost numite Delfi În Delfi se vor pune temelii unui templu şi-unui vestit oracol, a hotărît Apolo Oamenii vor putea să-ntrebe şi să afle răspuns la întrebări, prin preuteasa mea, Pitia, înţeleapta Ea se va aşeza pe un trepied de aur, învăluit în pielea lui Piton cel răpus, deasupra unei grote adînci si fumegînde, ce duce pînă-n ţara lui Hades, mohorîtul Prin ea voi da răspunsuri Dar oamenii datori sînt să-mi dăruiască aur şi scule preţioase şi zeci de bogăţii, răsplată pentru mine şi preoţii din templu Mai poruncesc, de-asemeni, să aibă loc, în cinstea luptei mele cu monstrul, jocuri, serbări, concursuri, şi cîntece, şi danţuri Să fie veselie, iar eu să fiu slăvit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Un rezumat obişnuit Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate, căutîndu-şi loc de templu Şi, tot umblînd pe drumuri, Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Şi-n munte-i o strîmtoare afundă, mocirloasă, unde traia atuncea - precum spunea legenda - un şarpe numit Piton Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa Cînd a ajuns Apolo în muntele Parnas, dihania uriaşă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată Erau doar patru zile de cînd văzuse lumea, şi întiia lui săgeată a şi nimerit monstrul Monstrul s-a zvîrcolit tot mai încet în apă Aşa s-a prăpădit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Un rezumat focalizat pe prima apariţie a lui Hefaistos Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Şi-n munte-i o strîmtoare afundă, mocirloasă, unde traia atuncea un şarpe numit Piton Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa Hera-l ura pe fiul cel nou născut al Letei, pentru că soţul său, prea puternicul Zeus, ţinea mai mult la dînsul decit la fiii ei: Hefaistos şi Ares Cînd a ajuns Apolo în muntele Parnas, dihania uriaşă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată Erau doar patru zile de cînd văzuse lumea, şi întiia lui săgeată a şi nimerit monstrul Monstrul s-a zvîrcolit tot mai încet în apă Aşa s-a prăpădit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Un rezumat focalizat pe a doua apariţie a lui Hefaistos Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Şi-n munte-i o strîmtoare afundă, mocirloasă, unde traia atuncea un şarpe numit Piton Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa dihania uriasă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată şi întîia lui săgeată a şi nimerit monstrul E drept că şi săgeata fusese făurită de fierarul din Lemnos, Hefaistos, schilodul, cu mare meşteşug Monstrul s-a zvîrcolit tot mai încet în apă Aşa s-a prăpădit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe References Cristea, D , Ide, N and Romary, L (1998): Veins Theory An Approach to Global Cohesion and Coherence In Proceedings of Coling/ACL ‘98, Montreal, https://profs info uaic ro/~dcristea/papers/CristeaIdeRomary-Coling98 pdf Cristea, D , Ide, N , Marcu, D and Tablan, M -V (2000): Discourse Structure and Co- Reference: An Empirical Study, In Proceedings of The 18th International Conference on Computational Linguistics COLING'2000, Luxembourg, https://profs info uaic ro/~dcristea/papers/Cristea-etal-coling2000 pdf Ide, N and Cristea, D (2000): A Hierarchical Account of Referential Accessibility In Proceedings of The 38th Annual Meeting of the Association for Computational Linguistics, ACL'2000, Hong Kong, https://profs info uaic ro/~dcristea/papers/IdeCristea- ACL2000 pdf Cristea, D , Postolache, O , Pușcasu, G and Ghețu, L (2003) Summarizing documents based on cue-phrases and references, in Proceedings of the International Symposium on Reference Resolution and Its Applications to Question Answering and Summarization, Venice, Italy, June https://profs info uaic ro/~dcristea/papers/cristea-etal- venezia2003 pdf Dan Cristea, Oana Postolache, Ionuț Cristian Pistol (2005) Summarisation through Discourse Structure In Alexander Gelbukh (ed ): Computational Linguistics and Intelligent Text Processing, 6th International Conference CICLing 2005, Mexico City, Mexico, February 13-19 2005, Proceedings, Springer LNSC, vol 3406, p 632-644 https://profs info uaic ro/~dcristea/papers/cristea-postolache-pistol-cicling05 pdf Cristea, D (2005): Motivations and Implications of Veins Theory, in B Sharp (Ed ) Natural Language Understanding and Cognitive Science, Proceedings of the 2nd International Workshop on Natural Language Understanding and Cognitive Scienc3, NLUCS 2005, in conjunction with ICEIS 2005, Miami, U S A , May 2005, INSTICC Press, https://profs info uaic ro/~dcristea/papers/cristea-nlucs2005 pdf